import pandas as pd
import plotly.express as px
import plotly.io as pio
pio.renderers.default = "notebook"
pd.set_option('display.max_colwidth', None)
d1 = pd.read_csv("pd0.csv")
d1
| tempo | triplas | |
|---|---|---|
| 0 | 31.64945 | 100 |
Exemplo de consulta:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
?p ?o.
} LIMIT 100
d2 = pd.read_csv("pd1.csv")
d2
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 1.843975 | Acórdão | 100 |
| 1 | 3.296359 | Agente | 100 |
| 2 | 1.303204 | Arma | 100 |
| 3 | 0.554113 | Arquivo | 100 |
| 4 | 1.263432 | Ativa | 100 |
| ... | ... | ... | ... |
| 139 | 0.543011 | Unidade Federativa | Estado | 100 |
| 140 | 0.573094 | Unidade Fiscal | 32 |
| 141 | 3.231534 | Usuário | 100 |
| 142 | 0.687779 | Órgão | 100 |
| 143 | 2.909073 | Evento | 100 |
144 rows × 3 columns
p = {'inválidas':d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0],'válidas':d2.shape[0]-d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes válidas')
fig.show()
d2['timeout'] = 'Não'
d2.loc[d2['triplas']==-1,'timeout'] = 'Sim'
p= d2['timeout'].value_counts().reset_index(name="count")
fig = px.pie(p,values='count', names='index', title='Percentual de classes com erros')
fig.show()
d2[d2['triplas']==-1]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 32 | 804.435046 | Documento Fiscal | -1 | Sim |
| 70 | 758.513371 | Item | -1 | Sim |
p = {'vazias':d2[d2['triplas']==0].shape[0],'povoadas':d2.shape[0]-d2[d2['triplas']==0].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes vazias')
fig.show()
d2[d2['triplas']==0]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 17 | 0.398607 | Conceito | 0 | Não |
| 42 | 0.410304 | Endereço C115 Comunicação | 0 | Não |
| 43 | 0.411387 | Endereço C115 Energia | 0 | Não |
| 44 | 4.114447 | Endereço C115 Telecomunicação | 0 | Não |
| 56 | 3.291235 | Excluso / Removido do SIMPLES | 0 | Não |
| 78 | 0.431669 | Não optante pelo SIMPLES | 0 | Não |
| 81 | 0.389011 | Optante pelo SIMPLES | 0 | Não |
| 92 | 0.388884 | Processo de Baixa | 0 | Não |
| 93 | 0.385092 | Processo de Suspensão | 0 | Não |
| 138 | 1.479911 | Unidade Consumo Telecomunicação | 0 | Não |
validas = d2[(d2['triplas']!=0) & (d2['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução, quando tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,20)
validas[validas['tempo']<20].describe()
| tempo | triplas | |
|---|---|---|
| count | 128.000000 | 128.000000 |
| mean | 1.902752 | 91.296875 |
| std | 2.019929 | 25.094894 |
| min | 0.538210 | 6.000000 |
| 25% | 0.701664 | 100.000000 |
| 50% | 1.208580 | 100.000000 |
| 75% | 2.496095 | 100.000000 |
| max | 15.111876 | 100.000000 |
fig = px.histogram(validas[validas['tempo']>=20], x="tempo",title="histograma de tempo de execução, quando tempo [20,inf]")
fig.show()
Consultas com tempo [20,inf)
validas[validas['tempo']>=20].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 73 | 497.083015 | Medicamento | 100 | Não |
| 94 | 455.978598 | Produto | 100 | Não |
| 86 | 36.696454 | Pessoa Física | 100 | Não |
| 126 | 35.294106 | Sócio | 100 | Não |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> ?p ?o.
} LIMIT 100
d3 = pd.read_csv("pd2.csv")
d3
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.626532 | Acórdão | 5 |
| 1 | 0.466384 | Agente | 5 |
| 2 | 4.457417 | Arma | 8 |
| 3 | 2.683279 | Arquivo | 12 |
| 4 | 0.484360 | Ativa | 9 |
| ... | ... | ... | ... |
| 127 | 0.497661 | Unidade Federativa | Estado | 5 |
| 128 | 0.419674 | Unidade Fiscal | 4 |
| 129 | 4.763908 | Usuário | 4 |
| 130 | 0.474667 | Órgão | 9 |
| 131 | 1.645373 | Evento | 49 |
132 rows × 3 columns
d3[(d3['triplas']==0) | (d3['triplas']==-1)]
| tempo | classe | triplas |
|---|
validas = d3[(d3['triplas']!=0) & (d3['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução, quando tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 121.000000 | 121.000000 |
| mean | 1.172884 | 10.677686 |
| std | 1.195006 | 13.562949 |
| min | 0.071669 | 2.000000 |
| 25% | 0.470311 | 5.000000 |
| 50% | 0.610160 | 8.000000 |
| 75% | 1.411500 | 10.000000 |
| max | 4.940761 | 100.000000 |
fig = px.histogram(validas[(validas['tempo']>=5) & (validas['tempo']<50)], x="tempo",title="histograma de tempo de execução, quando tempo [5,49]")
fig.show()
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 11.000000 | 11.000000 |
| mean | 14.824588 | 15.090909 |
| std | 8.924812 | 9.104444 |
| min | 5.421749 | 6.000000 |
| 25% | 8.377915 | 9.000000 |
| 50% | 12.826343 | 13.000000 |
| 75% | 19.404376 | 16.000000 |
| max | 33.943887 | 32.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 66 | 33.943887 | Medicamento | 10 |
| 83 | 24.205628 | Produto | 10 |
| 17 | 22.930592 | Consumidor | 13 |
| 16 | 15.878160 | Compra Pública | 8 |
| 15 | 13.831316 | Combustível | 7 |
| 46 | 12.826343 | Estabelecimento | 32 |
| 49 | 11.536340 | Estabelecimento SEFAZ | 32 |
| 70 | 10.154266 | Não Contribuinte | 6 |
| 78 | 6.601564 | Pessoa Física Cadastro SEFAZ | 16 |
| 18 | 5.740624 | Contador | 16 |
| 91 | 5.421749 | Representante Legal Físico | 16 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> rdfs:label ?o.
} LIMIT 100
d4 = pd.read_csv("pd3.csv")
d4
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.170809 | Acórdão | 1 |
| 1 | 0.097009 | Agente | 1 |
| 2 | 2.717257 | Arma | 1 |
| 3 | 0.361234 | Arquivo | 1 |
| 4 | 0.112346 | Ativa | 1 |
| ... | ... | ... | ... |
| 127 | 0.080504 | Unidade Federativa | Estado | 1 |
| 128 | 0.110101 | Unidade Fiscal | 1 |
| 129 | 0.986548 | Usuário | 1 |
| 130 | 0.082510 | Órgão | 1 |
| 131 | 0.305672 | Evento | 1 |
132 rows × 3 columns
p = {'não tem label':d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0],'tem label':d4.shape[0]-d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes com recursos com labels')
fig.show()
d4[(d4['triplas']==0) | (d4['triplas']==-1)]
| tempo | classe | triplas | |
|---|---|---|---|
| 54 | 0.090051 | Fornecedor Pessoa Física | 0 |
| 56 | 0.093145 | Fornecedor Restrito | 0 |
| 93 | 0.095176 | Sancionado | 0 |
validas = d4
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 131.000000 | 131.000000 |
| mean | 0.348833 | 1.076336 |
| std | 0.512720 | 0.342352 |
| min | 0.064259 | 0.000000 |
| 25% | 0.118324 | 1.000000 |
| 50% | 0.144538 | 1.000000 |
| 75% | 0.344548 | 1.000000 |
| max | 3.124166 | 2.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 1.000000 | 1.0 |
| mean | 22.154558 | 1.0 |
| std | NaN | NaN |
| min | 22.154558 | 1.0 |
| 25% | 22.154558 | 1.0 |
| 50% | 22.154558 | 1.0 |
| 75% | 22.154558 | 1.0 |
| max | 22.154558 | 1.0 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 15 | 22.154558 | Combustível | 1 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
<http://www.sefaz.ma.gov.br/ontology/data_final> ?o.
} LIMIT 100
d5 = pd.read_csv("pd4.csv")
d5
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.063120 | Acórdão | data final | 0 |
| 1 | 0.200534 | Agente | name | 100 |
| 2 | 0.133926 | Agente | nome | 100 |
| 3 | 0.636079 | Agente | tem solicitação | 0 |
| 4 | 0.324969 | Agente | tem tipo de contribuição | 100 |
| ... | ... | ... | ... | ... |
| 920 | 0.790571 | Órgão | -1 | |
| 921 | 2.289939 | Órgão | idêntico / igual / mesmo que / sameAs | -1 |
| 922 | 0.934010 | Evento | tem solicitação | -1 |
| 923 | 1.753503 | Evento | código do evento | -1 |
| 924 | 0.892147 | Evento | descrição do evento | -1 |
925 rows × 4 columns
d5[(d5['triplas']==0) | (d5['triplas']==-1)]
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.063120 | Acórdão | data final | 0 |
| 3 | 0.636079 | Agente | tem solicitação | 0 |
| 6 | 0.067785 | Agente | cpf ou cnpj | 0 |
| 9 | 0.072065 | Agente | número de contato | 0 |
| 10 | 0.065493 | Agente | contact number | 0 |
| ... | ... | ... | ... | ... |
| 920 | 0.790571 | Órgão | -1 | |
| 921 | 2.289939 | Órgão | idêntico / igual / mesmo que / sameAs | -1 |
| 922 | 0.934010 | Evento | tem solicitação | -1 |
| 923 | 1.753503 | Evento | código do evento | -1 |
| 924 | 0.892147 | Evento | descrição do evento | -1 |
559 rows × 4 columns
p = {'inválida':d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0],'válida':d5.shape[0]-d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d5['erro']='Não'
d5.loc[d5['triplas']==-1,'erro']='Sim'
p = d5['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de propriedades de classes que deram erro')
fig.show()
Consultas com erro
d5[d5['triplas']==-1]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 620 | 0.848870 | Pessoa Física | idêntico / igual / mesmo que / sameAs | -1 | Sim |
| 621 | 1.994718 | Pessoa Física Cadastro SEFAZ | name | -1 | Sim |
| 622 | 0.880357 | Pessoa Física Cadastro SEFAZ | nome | -1 | Sim |
| 623 | 3.023570 | Pessoa Física Cadastro SEFAZ | -1 | Sim | |
| 624 | 0.949552 | Pessoa Física Cadastro SEFAZ | idêntico / igual / mesmo que / sameAs | -1 | Sim |
| ... | ... | ... | ... | ... | ... |
| 920 | 0.790571 | Órgão | -1 | Sim | |
| 921 | 2.289939 | Órgão | idêntico / igual / mesmo que / sameAs | -1 | Sim |
| 922 | 0.934010 | Evento | tem solicitação | -1 | Sim |
| 923 | 1.753503 | Evento | código do evento | -1 | Sim |
| 924 | 0.892147 | Evento | descrição do evento | -1 | Sim |
305 rows × 5 columns
p = {'propridade sem valor':d5[(d5['triplas']==0)].shape[0],'propridades com valor':d5.shape[0]-d5[(d5['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades com valores por classe')
fig.show()
Consultas com retorno vazio
d5[(d5['triplas']==0)]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 0 | 0.063120 | Acórdão | data final | 0 | Não |
| 3 | 0.636079 | Agente | tem solicitação | 0 | Não |
| 6 | 0.067785 | Agente | cpf ou cnpj | 0 | Não |
| 9 | 0.072065 | Agente | número de contato | 0 | Não |
| 10 | 0.065493 | Agente | contact number | 0 | Não |
| ... | ... | ... | ... | ... | ... |
| 609 | 0.087502 | Pessoa Física | número de telefone | 0 | Não |
| 610 | 0.408182 | Pessoa Física | prazo indeterminado | 0 | Não |
| 613 | 0.853477 | Pessoa Física | telefone1 | 0 | Não |
| 614 | 0.111973 | Pessoa Física | telefone2 | 0 | Não |
| 615 | 0.087986 | Pessoa Física | telefone | 0 | Não |
254 rows × 5 columns
validas = d5[d5['triplas']!=-1]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução com tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 587.000000 | 587.000000 |
| mean | 0.413091 | 54.826235 |
| std | 0.720054 | 49.566935 |
| min | 0.057498 | 0.000000 |
| 25% | 0.070263 | 0.000000 |
| 50% | 0.111207 | 100.000000 |
| 75% | 0.322140 | 100.000000 |
| max | 4.412395 | 100.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 33.000000 | 33.000000 |
| mean | 30.138795 | 96.969697 |
| std | 37.773075 | 17.407766 |
| min | 5.080325 | 0.000000 |
| 25% | 8.162794 | 100.000000 |
| 50% | 13.765522 | 100.000000 |
| 75% | 21.072284 | 100.000000 |
| max | 134.619446 | 100.000000 |
Propriedades de classes com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 602 | 134.619446 | Pessoa Física | fax | 100 | Não |
| 439 | 129.387941 | Estabelecimento RFB | contact number | 100 | Não |
| 438 | 117.340265 | Estabelecimento RFB | número de contato | 100 | Não |
| 443 | 107.021676 | Estabelecimento RFB | telefone | 100 | Não |
| 618 | 63.892028 | Pessoa Física | name | 100 | Não |
| 598 | 57.782982 | Pessoa Física | CPF | 100 | Não |
| 619 | 56.371199 | Pessoa Física | nome | 100 | Não |
| 553 | 27.993781 | Medicamento | código do medicamento | 100 | Não |
| 605 | 21.072284 | Pessoa Física | telefone | 100 | Não |
| 616 | 20.299121 | Pessoa Física | 100 | Não | |
| 400 | 18.486505 | Estabelecimento | data de início das atividades do estabelecimento | 100 | Não |
| 101 | 18.463682 | Compra Pública | tem item | 100 | Não |
| 442 | 17.024850 | Estabelecimento RFB | razão social | 100 | Não |
| 447 | 16.895823 | Estabelecimento RFB | 100 | Não | |
| 374 | 14.830829 | Estabelecimento | razão social | 100 | Não |
| 223 | 13.920917 | Empresa | Organização | Pessoa Jurídica RFB | razão social | 100 | Não |
| 173 | 13.765522 | Empresa | Organização | Pessoa Jurídica | opção por simples | 100 | Não |
| 38 | 13.498694 | Ativa | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 523 | 13.323099 | Item | tem documento fiscal | 100 | Não |
| 221 | 12.426812 | Empresa | Organização | Pessoa Jurídica RFB | tem matriz | 100 | Não |
| 437 | 11.763037 | Estabelecimento RFB | nome fantasia | 100 | Não |
| 503 | 11.580036 | Inadimplente | tem inadimplencia | 100 | Não |
| 57 | 10.929702 | Baixa de Ofício | idêntico / igual / mesmo que / sameAs | 0 | Não |
| 378 | 10.394681 | Estabelecimento | foi desabilitado | 100 | Não |
| 94 | 8.162794 | Combustível | percentual de gás importado | 100 | Não |
| 98 | 8.041191 | Combustível | valor de partida | 100 | Não |
| 96 | 8.004056 | Combustível | percentual de glp | 100 | Não |
| 95 | 7.718949 | Combustível | percentual de gás natural | 100 | Não |
| 93 | 7.364974 | Combustível | descrição anp | 100 | Não |
| 140 | 6.266685 | Documento Fiscal | tem consumidor | 100 | Não |
| 213 | 5.712426 | Empresa | Organização | Pessoa Jurídica | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 231 | 5.143927 | Empresa | Organização | Pessoa Jurídica SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 593 | 5.080325 | Pessoa Física | tem mãe | 100 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
{
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
}
OPTIONAL{
?s ?p2 ?node.
filter(?p2 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?s))
}
}
d6 = pd.read_csv("pd5.csv")
d6
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.869303 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | -1 |
| 1 | 0.829094 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | -1 |
| 2 | 1.010759 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | -1 |
| 3 | 0.835406 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | -1 |
| 4 | 4.973562 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-27992560000126-2020_03_11 | -1 |
| ... | ... | ... | ... | ... |
| 127 | 0.693578 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 128 | 0.654286 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 129 | 0.670148 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 130 | 1.219543 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 48 |
| 131 | 1.292195 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 44 |
132 rows × 4 columns
d6[(d6['triplas']==0) | (d6['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.869303 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | -1 |
| 1 | 0.829094 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | -1 |
| 2 | 1.010759 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | -1 |
| 3 | 0.835406 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | -1 |
| 4 | 4.973562 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-27992560000126-2020_03_11 | -1 |
| ... | ... | ... | ... | ... |
| 122 | 4.384599 | Tipo de Regime Tributário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tipo_Regime_Tributario/SIMPLES_NACIONAL | -1 |
| 123 | 0.791894 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | -1 |
| 127 | 0.693578 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 128 | 0.654286 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 129 | 0.670148 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
127 rows × 4 columns
p = {'inválida':d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0],'válida':d6.shape[0]-d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d6['erro'] = 'Não'
d6.loc[d6['triplas']==-1,'erro']='Sim'
p = d6['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
p = {'nós sem relações':d6[(d6['triplas']==0)].shape[0],'nós com relações':d6.shape[0]-d6[(d6['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual nós sem relações por classe')
fig.show()
validas = d6[(d6['triplas']!=0) & (d6['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<30], x="tempo",title="histograma de tempo de execução com tempo [0,30)")
fig.show()
fig = px.histogram(validas[validas['tempo']>=8], x="tempo",title="histograma de tempo de execução com tempo [8,inf)")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 4.000000 | 4.000000 |
| mean | 1.265619 | 24.500000 |
| std | 0.375305 | 24.879711 |
| min | 0.817362 | 3.000000 |
| 25% | 1.118997 | 3.000000 |
| 50% | 1.255869 | 23.500000 |
| 75% | 1.402490 | 45.000000 |
| max | 1.733377 | 48.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 1.000000 | 1.0 |
| mean | 159.744551 | 3.0 |
| std | NaN | NaN |
| min | 159.744551 | 3.0 |
| 25% | 159.744551 | 3.0 |
| 50% | 159.744551 | 3.0 |
| 75% | 159.744551 | 3.0 |
| max | 159.744551 | 3.0 |
Recursos com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 124 | 159.744551 | Unidade Consumo | http://www.sefaz.ma.gov.br/resource/C115/Unidade_Consumo/000000000014 | 3 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
?o ?p3 ?o2.
filter(?p3 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o2))
}
d7 = pd.read_csv("pd6.csv")
d7
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.939938 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 4.941697 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.847896 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 2.697777 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.306197 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-27992560000126-2020_03_11 | 0 |
| ... | ... | ... | ... | ... |
| 127 | 1.823489 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | -1 |
| 128 | 1.806539 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | -1 |
| 129 | 1.688964 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | -1 |
| 130 | 1.779999 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | -1 |
| 131 | 1.810051 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | -1 |
132 rows × 4 columns
d7[(d7['triplas']==0) | (d7['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.939938 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 4.941697 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.847896 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 2.697777 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.306197 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-27992560000126-2020_03_11 | 0 |
| ... | ... | ... | ... | ... |
| 127 | 1.823489 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | -1 |
| 128 | 1.806539 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | -1 |
| 129 | 1.688964 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | -1 |
| 130 | 1.779999 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | -1 |
| 131 | 1.810051 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | -1 |
99 rows × 4 columns
p = {'inválidas':d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0],'válidas':d7.shape[0]-d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de recursos com duas propriedades em cadeia por classe válidos')
fig.show()
d7['erro'] = 'Não'
d7.loc[d7['triplas']==-1,'erro']='Sim'
p = d7['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
validas = d7[(d7['triplas']!=0) & (d7['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução com tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 27.000000 | 27.000000 |
| mean | 3.019085 | 5.555556 |
| std | 2.028698 | 5.366085 |
| min | 0.905248 | 1.000000 |
| 25% | 1.743478 | 2.000000 |
| 50% | 2.144748 | 4.000000 |
| 75% | 3.840020 | 8.000000 |
| max | 7.668573 | 19.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 6.000000 | 6.000000 |
| mean | 48.028008 | 19566.333333 |
| std | 69.884405 | 47813.889148 |
| min | 9.013122 | 10.000000 |
| 25% | 13.978538 | 28.250000 |
| 50% | 15.876771 | 44.000000 |
| 75% | 38.377448 | 94.250000 |
| max | 188.177914 | 117166.000000 |
Consultas com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 37 | 188.177914 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 23 | Não |
| 46 | 45.536090 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12720568 | 44 | Não |
| 49 | 16.901521 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12720568 | 44 | Não |
| 35 | 14.852021 | Empresa | Organização | Pessoa Jurídica REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Empresa/16506549 | 111 | Não |
| 36 | 13.687378 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 117166 | Não |
| 18 | 9.013122 | Contador | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 10 | Não |